📌 一句话摘要
- AI 幻觉不是 bug，是 Transformer 架构的内在特性
- LLM 生成的是"统计上最可能的下一个词"，而非"事实"
- 学术场景下的幻觉率高达 27%，且极难被非专家察觉
- RAG（检索增强生成）是目前最有效的工程化解决方案
- 但单纯的 RAG 不够——需要多层防护体系
一个真实的灾难场景
2024 年初，一位法学研究生在毕业论文中引用了 AI 推荐的 15 个判例。答辩时，评审教授逐一核查——其中 4 个判例根本不存在。
这不是个案。Nature 杂志 2024 年的一项调查显示：
27%
AI 生成的学术引用指向不存在或不相关的文献
更糟糕的是，这些"幻觉引用"往往格式完美——有作者名、期刊名、年份、甚至 DOI 号。它们看起来比真正的引用还"真实"。
要理解为什么，我们需要从 AI 的底层架构说起。
Transformer：了不起的"下一个词预测器"
所有的大语言模型（GPT-4、Gemini、Claude 等）都基于 Transformer 架构（Vaswani et al., 2017）。理解这个架构的核心，就能理解幻觉的根源。
Transformer 的核心任务只有一个：
给定前面的所有文字，预测统计上最可能出现的下一个词（token）。
注意这里的关键词："统计上最可能"。它不是在查百科全书，不是在搜索数据库，不是在回忆事实——它在做概率计算。
输入: "Vaswani et al. (2017) 提出了 ___"
模型内部: P("Transformer") = 0.82
P("注意力机制") = 0.11
P("一种新方法") = 0.04
P("蒸馏技术") = 0.03
输出: "Transformer" (概率最高的词)
模型内部: P("Transformer") = 0.82
P("注意力机制") = 0.11
P("一种新方法") = 0.04
P("蒸馏技术") = 0.03
输出: "Transformer" (概率最高的词)
当模型的训练数据中反复出现"Vaswani et al. (2017) 提出了 Transformer"这样的文本时，它就"学会"了这个模式。这不是记忆，是模式匹配。
关键区别：记忆 vs 模式匹配
❌ 你可能以为 AI 在做的事
查阅论文数据库 → 找到原文 → 提取信息 → 总结回答
（像一个研究员去图书馆查资料）
✅ AI 实际在做的事
读到你的问题 → 根据统计模式 → 生成"最像正确答案"的文本
（像一个记忆力超群但不核实的人在"回忆"）
为什么"模式匹配"会导致编造？
理解了上面的概念，幻觉的产生就很好解释了：